Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training
一层就够了？训练单个Transformer层可匹配全参数RL训练
🧭 RL训练效率 · 层贡献分布
University of Minnesota · Peking University · Amazon
LLM的RL后训练增益高度集中于中间少数层，单层训练即可恢复甚至超越全参数训练效果
📌 工作参考价值（4 点）
- 在大模型推荐/Agent微调中，若使用RL（如GRPO），可优先仅更新中间层，训练参数量降至1/12~1/8，显存与时间成本大幅降低，效果不降甚至反升。
- 层贡献排名在跨任务、跨模型上高度稳定，可预先对模型做一次层贡献分析，固定高贡献层，后续微调任务均只更新这些层，实现轻量级多任务适配。
- 结合LoRA等参数高效方法时，不必在全层应用，可只在贡献值高的中间层插入适配器，减少可训练参数且保持性能。
- 对于需要部署多个RL微调变体（如个性化推荐策略）的场景，可训练不同层组合再集成，利用层特化提升综合决策质量。